Transformers are widely used in NLP tasks. However, current approaches to leveraging transformers to understand language expose one weak spot: Number understanding. In some scenarios, numbers frequently occur, especially in semi-structured data like tables. But current approaches to rich-number tasks with transformer-based language models abandon or lose some of the numeracy information - e.g., breaking numbers into sub-word tokens - which leads to many number-related errors. In this paper, we propose the LUNA framework which improves the numerical reasoning and calculation capabilities of transformer-based language models. With the number plugin of NumTok and NumBed, LUNA represents each number as a whole to model input. With number pre-training, including regression loss and model distillation, LUNA bridges the gap between number and vocabulary embeddings. To the best of our knowledge, this is the first work that explicitly injects numeracy capability into language models using Number Plugins. Besides evaluating toy models on toy tasks, we evaluate LUNA on three large-scale transformer models (RoBERTa, BERT, TabBERT) over three different downstream tasks (TATQA, TabFact, CrediTrans), and observe the performances of language models are constantly improved by LUNA. The augmented models also improve the official baseline of TAT-QA (EM: 50.15 -> 59.58) and achieve SOTA performance on CrediTrans (F1 = 86.17).

Online forms are widely used to collect data from human and have a multi-billion market. Many software products provide online services for creating semi-structured forms where questions and descriptions are organized by pre-defined structures. However, the design and creation process of forms is still tedious and requires expert knowledge. To assist form designers, in this work we present FormLM to model online forms (by enhancing pre-trained language model with form structural information) and recommend form creation ideas (including question / options recommendations and block type suggestion). For model training and evaluation, we collect the first public online form dataset with 62K online forms. Experiment results show that FormLM significantly outperforms general-purpose language models on all tasks, with an improvement by 4.71 on Question Recommendation and 10.6 on Block Type Suggestion in terms of ROUGE-1 and Macro-F1, respectively.

The recent prevalence of pretrained language models (PLMs) has dramatically shifted the paradigm of semantic parsing, where the mapping from natural language utterances to structured logical forms is now formulated as a Seq2Seq task. Despite the promising performance, previous PLM-based approaches often suffer from hallucination problems due to their negligence of the structural information contained in the sentence, which essentially constitutes the key semantics of the logical forms. Furthermore, most works treat PLM as a black box in which the generation process of the target logical form is hidden beneath the decoder modules, which greatly hinders the model's intrinsic interpretability. To address these two issues, we propose to incorporate the current PLMs with a hierarchical decoder network. By taking the first-principle structures as the semantic anchors, we propose two novel intermediate supervision tasks, namely Semantic Anchor Extraction and Semantic Anchor Alignment, for training the hierarchical decoders and probing the model intermediate representations in a self-adaptive manner alongside the fine-tuning process. We conduct intensive experiments on several semantic parsing benchmarks and demonstrate that our approach can consistently outperform the baselines. More importantly, by analyzing the intermediate representations of the hierarchical decoders, our approach also makes a huge step toward the intrinsic interpretability of PLMs in the domain of semantic parsing.

公平测试旨在减轻数据驱动的AI系统决策过程中的意外歧视。当AI模型为仅根据受保护属性（例如年龄和种族）区分的两个不同的个体做出不同的决定时，可能会发生个人歧视。这样的实例揭示了偏见的AI行为，被称为个人歧视实例（IDI）。在本文中，我们提出了一种选择初始种子以生成IDI进行公平测试的方法。先前的研究主要使用随机的初始种子来实现这一目标。但是，这个阶段至关重要，因为这些种子是后续IDIS生成的基础。我们称我们提出的种子选择方法I＆D。它产生了大量的初始IDI，表现出极大的多样性，旨在提高公平测试的整体性能。我们的实证研究表明，I＆D能够就四种最先进的种子生成方法产生更多的IDI，平均产生1.68倍的IDI。此外，我们比较I＆D在训练机器学习模型中的使用，并发现与最先进的ART相比，使用I＆D将剩余IDI的数量减少了29％，因此表明I＆D有效地改善了模型公平性

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

许多数据分析任务在很大程度上依赖对表的深入了解（多维数据）。在整个任务中，都存在表字段 /列的共同使用的元数据属性。在本文中，我们确定了四个这样的分析元数据：测量/维度二分法，公共场作用，语义场类型和默认聚集函数。尽管这些元数据面临不足的监督信号的挑战，利用现有的知识和理解分布。为了将这些元数据推理为原始表，我们提出了多任务元数据模型，该模型将现场分布和知识图信息融合到预训练的表格模型中。对于模型培训和评估，我们通过使用下游任务的各种智能监督来收集分析元数据的大型语料库（来自私人电子表格和公共表格数据集的〜582K表）。我们的最佳模型的精度= 98％，命中率在TOP-1> 67％，精度> 80％和四个分析元数据推理任务的精度= 88％。它的表现优于基于规则，传统机器学习方法和预训练的表格模型的一系列基线。分析元数据模型被部署在流行的数据分析产品中，帮助下游智能功能，例如Insights挖掘，图表 /枢轴表建议和自然语言QA ...

学习率是对神经网络培训有重大影响的最重要的超参数之一。学习率计划在实际实践中广泛使用，以根据预定义的时间表来调整学习率，以进行快速收敛和良好的概括。但是，现有的学习率时间表都是启发式算法，缺乏理论支持。因此，人们通常通过多个临时试验选择学习率计划，并且获得的学习率时间表是最佳的。为了提高获得的次级学习率计划的性能，我们提出了一个通用的学习率计划插件，称为学习率扰动（LEAP），可以将其应用于各种学习率计划，以通过引入一定的扰动来改善模型培训达到学习率。我们发现，通过如此简单而有效的策略，培训处理成倍地利用了平坦的最小值，而不是具有保证收敛的尖锐的最小值，从而提高了更好的概括能力。此外，我们进行了广泛的实验，表明使用LEAP培训可以使用各种学习率计划（包括恒定的学习率）来改善各种数据集对各种深度学习模型的性能。

为了满足各种用户需求，近年来对图形布局的不同子任务进行了深入探讨。现有研究通常提出具有不同投入输出格式，专用模型体系结构和不同学习方法的任务特异性方法。但是，这些专业的方法使得适应了看不见的子任务，阻碍了不同子任务之间的知识共享，并且与设计通用模型的趋势背道而驰。在这项工作中，我们提出了Unilayout，该Unilayout以统一的方式处理图形布局生成的不同子任务。首先，我们统一地表示子任务的各种输入和输出作为令牌序列。然后，基于统一的序列格式，我们自然利用具有不同子任务的变压器的相同的编码器架构。此外，基于上述两种统一，我们进一步开发了一个同时支持所有子任务的单个模型。在两个公共数据集上的实验表明，尽管简单，单层虽然明显优于先前的特定于任务的方法。

图形神经网络（GNN）通过汇总邻居的信息在图表中显示出表达性能。最近，一些研究讨论了在图上建模邻域分布的重要性。但是，大多数现有的GNN通过单个统计量（例如，均值，最大，sum）汇总了邻居的特征，该特征失去了与邻居特征分布相关的信息，因此会降低模型性能。在本文中，受统计理论的力矩方法的启发，我们建议用多阶矩对邻居的特征分布进行建模。我们设计了一种新型的GNN模型，即混合矩图神经网络（MM-gnn），其中包括一个多阶矩嵌入（MME）模块和一个基于元素的注意力矩适配器模块。 MM-gnn首先将每个节点的邻居的多阶矩作为签名计算，然后使用基于元素的注意力矩适配器将较大的权重分配给每个节点的重要矩和更新节点表示。我们对15个真实图表（包括社交网络，引文网络和网页网络等）进行了广泛的实验，以评估我们的模型，结果证明了MM-GNN优于现有最先进模型的优势。

表的智能分析和可视化表使用技术自动从数据中推荐有用的知识，从而使用户免于乏味的多维数据挖掘。尽管许多研究成功地通过规则或机器学习来自动化建议，但很难概括专家知识并提供可解释的建议。在本文中，我们首次提出条件格式的建议，以及图表建议，以示例智能表分析。我们建议对表上的分析语义，以发现用户创建的分析背后的共同分析模式。在这里，我们通过将数据重点与用户意图分开，从而分别从数据和人类的角度提取了用户的动机来设计分析语义。此外，我们设计的ASTA框架是为了将分析语义应用于多个自动化建议。 ASTA框架通过根据专家知识设计签名来提取数据功能，并在现场（图）或细胞级（条件格式）（条件格式化）中启用数据引用。实验表明，我们的框架在公共图表中的62.86％中的前1位获得了召回率，在公共图表中，最佳基准优于14％的最佳基准，并在收集的语料库中获得了72.31％的召回，证明ASTA框架有效地提供了准确且可解释的建议。